2001년에는 ‘요미우리 킬러’로서 이름을 날렸던 가와사키 겐지로를 영입해 시즌을 맞이했지만 가와사키가 시범 경기에서 기대 이하의 부진으로 전력에서 이탈하는 등 팀이 무너지면서 4년 만에 B클래스(4위 ~ 6위, 하위권을 지칭하는 일본 언론의 표현)로 떨어졌다. 그 해 ‘건강상의 이유’로 투수 코치 겸 수석 코치였던 야마다 히사시에게 감독 자리를 넘겨준 뒤 감독직에서 물러났다. 또한 이 때 호시노는 그 해 요미우리 감독직에서 물러나는 나가시마 시게오로부터 “그만두는 것은 아직 이르다. 그만두면 안된다!” 라고 전화를 받았다고 한다.